業務の手間やコストを低減し、処理を効率化・自動化するデータ分析基盤『カスタマーストーリーアナリティクス』について

「カスタマーストーリー」を支えるツール特集

#ビッグデータ

#ビジネス・アナリティクス

#CSA: Job Management Console(JMC)

#CSA: Data Uploader

#データ分析

しんや

2020.06.19

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

データアナリティクス事業本部のしんやです。

最近ではデータ分析周りのサービスやツールに関するブログを書くことが多いですが、一方で社内では(自社プロダクトとしての)データ分析基盤開発チームのリーダーも担当しています。その自社プロダクトが今回のこのエントリで紹介する「カスタマーストーリーアナリティクス(Customer Story Analytics:CSA)」です。

このプロダクトは展開して暫く経ち、現在お客様にもご利用頂いているものではあるのですが、ここで改めて「カスタマーストーリーアナリティクスとは何ぞや」という部分について改めてその内容を紹介し、また「プロダクトの今後」についても少し未来の話を盛り込んで紹介出来ればと思います。

カスタマーストーリー及びCSAとは

カスタマーストーリーアナリティクス(Customer Story Analytics)、我々としてはこの英語の頭文字を取って「CSA(アルファベットそのまま読みでシーエスエー)」と呼ぶことが多いのですが、このプロダクトは弊社クラスメソッドが提供するビッグデータ分析基盤の構築・及び運用を支援するサービスです。企業に存在する多様なデータを集約し、様々な角度から顧客理解を深めるビックデータ分析基盤を提供します。従来、多くの費用と開発期間を必要としてきたビッグデータの分析基盤をテンプレート化することで、最短1か月という短い期間で導入を可能としています。

製品ページは下記に展開しています。

CSAを始めたきっかけ

近年、クラスメソッド社内でも「データ分析」周りの案件を取り扱うことがとても多くなって来ました。私が現在所属しているデータアナリティクス事業本部では、「データ分析」周りの案件やプロジェクトについて

「インテグレーション部」(データ分析の実案件を担当・推進していくメンバーが所属する部署)
「プロダクト営業部」(データ分析に関するツールやサービスをソリューションとして提供することでお客様の案件をサポートしていくメンバーが所属する部署)
「営業部」(インテグレーション部の個別開発案件やCSアナリティクス拡販の営業活動を行っているメンバーが所属する部署)

といった体制で対応・サポートを日々行っています。

データ分析案件では、例えばあるファイルからテーブル定義を用意する、例えば日々のデータ取り込み処理を複数テーブル分用意する、はたまた任意の処理をジョブとして構成・実行する(そして通知周りの対応も行う)...それらの1つ1つが手間だったり、また仮に手間が掛からなかったとしても同じ様な処理を何個も用意しなければならない場合、積み上がってくる作業コストや手間なども無視出来ない規模になってきます。

そんな状況に直面していく中で、データ分析業務や案件を行っていく過程で蓄積された経験値やノウハウを上手いこと昇華・パッケージングして利用者の方々をサポートし、データ分析に携わる人達の業務の手間やコストを低減して行けないかと思うようになり、「カスタマーストーリーアナリティクス」のプロダクト・サービス群を立ち上げるに至りました。

製品それぞれの機能や特色の紹介については後述しますが、基本的なコンセプトは「CSAプロダクトをご利用頂くことで、データ分析基盤の構築や運用に関わる各種作業を効率化・自動化出来る」ことを第一に掲げています。更にはこれらのサポートをよりシンプルに分かりやすい形で、初めて利用するユーザーにもスムーズに使えるような「優しさ」を意識するようにも心掛けています。

CSAプロダクト群の紹介

2020年06月現在の「CSAプロダクト群」に関する守備範囲・位置付けを図に表したものが以下となります。お客様の手元にあるデータを分析環境に取り込み、加工・蓄積して分析可能なデータに仕上げるまでの過程をサポートする形でそれぞれのサービスを展開しています。

以降、「データの流れ」の順番に紹介します。

CSA:Data Uploader

まず最初に紹介するのがこちらの「CSA:Data Uploader」。

その名前の通り、任意の環境にデータをアップロードするための諸々の機能を詰め込んだツールです。クラウド環境にデータをアップロードしさえすればそこから先は各種サービスや機能でデータを取り込んで活用出来るのですが、その『アップロード』作業、または前段の『データを抽出して必要ならば加工する』作業がネックになるというお話も耳にすることがあります。このツールはそんな部分の問題を解決・サポートするために最適です。

このツールは任意のWindowsまたはLinux環境にインストールすることが出来、(後述するCSA JMCが入力のデータソースとする)Amazon S3にデータを連携するまでの所謂「ETL」プロセスをカバーする機能を提供します。作成した処理はバッチジョブとしてスケジューリング可能です。

データ抽出処理(Extract)：任意のデータソースに接続してデータを抽出可能
- ODBC接続
- (インストール環境配下の)ローカルファイル
- FTP・SFTP接続
- Amazon S3接続
- GCP:Google Cloud Storage接続
変換処理(Transform)：データ取り込みに必要な最低限のファイル変換処理をサポート
アップロード処理(Load)：Amazon S3へのデータアップロード

CSA:JMC(Job Management Console)

そしてもう1つ、CSAプロダクトのメインサービスとなるのがこちらのCSA Job Management Consoleです。後半部分を略して「CSA JMC」または後半部分略称のみを使って「JMC」と呼ぶことが多いです。(読みはそのままアルファベット読みで「ジェイエムシー」です)

こちらのサービスの守備範囲は「Amazon S3にアップロードされたデータを取り込むところから」。CSA JMCはAWSのサービス群で構成されており、データウェアハウスとして採用しているAmazon Redshiftへのデータ取り込みを行うためのファイルストレージであるAmazon S3がCSA JMCの入力となります。データをデータウェアハウスに取り込み、バッチ処理でデータを加工するために利用出来る以下の機能を提供しています。

テーブル作成機能：データを取り込むための「テーブル作成」機能を様々な用途に応じて提供
- ファイルの内容を自動判別し、データが格納可能な定義を割り出してテーブルを作成(&データの格納)
- 作成済みのテーブル群から項目を指定し、新たなテーブルを画面操作で作成出来る機能
データ連携機能：データのサイクルに応じた「データの取り込み(Amazon RedshiftのCOPYコマンド相当)処理」をスムーズに構築する機能
- 基本的には画面操作で処理構築が完結
- ファイルアップロードの構成を準拠することで様々なタイムサイクルに応じたデータの取り込みが可能
ジョブ管理機能：実現したい処理を「構成要素」の組み合わせで実現可能
- 構成要素＝処理の細かい単位。データを取り込む「データ連携」、任意の処理を登録・再利用出来る「SQL処理」「プログラム処理」が利用可能
- 構成要素を組み合わせて「ジョブ」を作成可能
- ジョブの実行を動的に制御出来る「変数」の定義、併用も可能
- 実務でのリカバリ等を考慮した、「ジョブの再実行」や「ジョブの範囲指定実行」なども可能
- 実行済みジョブの「実行履歴」の確認及び実行履歴からのジョブ再実行も可能
ジョブの実行通知：実行したジョブのステータスに応じて通知の出し分けが可能
その他便利機能各種：その他、利用者の作業をサポートする機能群も合わせて提供

BIツール

構成図の一番右、加工したデータを可視化したり分析に用いたりするのがこの「BIツール」の領域です。

この部分に関しては、お客様の状況や目的に応じて様々なツールやサービスを提案し、ご利用頂いています。最近ではLookerを紹介することが多いですが、この部分に関してはお客様のこれまでの状況とこれからの方針、また諸々の条件に応じた形でエンタープライズのソフトウェアやオープンソース製品等を紹介・提案することが流れとしては多いです。

CSA事例

CSAに関してはプロダクトをリリースしてから暫く経ちますが、これまでに多くのお客様にご利用頂いております。その中で幾つか事例紹介の許可を頂いたお客様については以下の形でその内容を紹介しています。実際にお客様がどの様な経緯でCSA採用をご決断頂き、またどの様にCSAを利活用されているのかについての詳細を是非ご覧頂けますと幸いです。